PyTorch dataloader

DataLoader 是 PyTorch 中一个重要的工具，用于有效地加载和预处理数据，以便在模型训练和评估过程中使用。它可以处理批量的数据，并可以进行多线程或多进程的数据加载，使数据加载更加高效。

导入库和模块

from torch.utils.data import Dataset, DataLoader

定义数据集

在使用 DataLoader 之前，我们需要定义一个数据集。数据集通常是 Dataset 类的一个子类，并需要实现 __len__ 和 __getitem__ 方法。下面是一个简单的例子：

class MyDataset(Dataset):
    def __init__(self, data):
        self.data = data

    def __len__(self):
        return len(self.data)

    def __getitem__(self, idx):
        return self.data[idx]

这个 MyDataset 类可以处理任何可索引的数据。

创建 DataLoader

创建数据集实例后，我们可以创建 DataLoader 实例：

data = range(10)
dataset = MyDataset(data)
data_loader = DataLoader(dataset, batch_size=2, shuffle=True)

这里，我们设置批次大小为 2，并启用了随机打乱。

使用 DataLoader

在训练循环中，我们可以直接迭代 DataLoader 实例来获取数据批次：

for batch in data_loader:
    print(batch)

在每次迭代中，DataLoader 会返回一个包含 2 个元素的批次（因为我们设置了 batch_size=2）。

注意：DataLoader 还有许多其他有用的选项，如多线程/多进程数据加载和自定义数据整理函数。你应该查阅 PyTorch 文档，以了解更多关于 DataLoader 的信息。

batch_size

在深度学习中，我们经常要处理大量的数据。如果我们一次处理所有的数据，那么可能会因为数据太多而使计算机内存不足，而且计算过程也会非常慢。因此，我们通常会将数据分成很多小份，每次只处理一份，这就是所谓的"批次"（batch）。

比如说，假设我们有 1000 个图片需要处理，我们可以将这 1000 个图片分成 500 个批次，每个批次包含 2 个图片。这样，我们就可以一次处理 2 个图片，处理完后再处理下一个批次的图片，直到所有的图片都处理完。

batch_size=2 这个参数就是用来设置每个批次包含多少个数据的。在这个例子中，每个批次包含 2 个数据。

shuffle=True 这个参数的作用是在每次开始新的一轮处理（也就是新的一个"epoch"）时，将所有的数据打乱，然后再分批处理。这样可以使得模型学习到的信息更全面，防止模型只记住数据的某些特定顺序，提高模型的泛化能力。

本文作者：Maeiee

本文链接：PyTorch dataloader

版权声明：如无特别声明，本文即为原创文章，版权归 Maeiee 所有，未经允许不得转载！

喜欢我文章的朋友请随缘打赏，鼓励我创作更多更好的作品！